Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs
Pair-In, Pair-Out：统一输入压缩与输出多token预测的高效LLM推理
🧭 高效推理 · 输入压缩与多token预测统一 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · AI Platform, Xiaohongshu Inc. · University of Electronic Science and Technology of China · Institute of Automation, Chinese Academy of Sciences
通过对称的 pair-in 压缩和 pair-out MTP 头，用 on-policy 蒸馏免费训练的置信头替代验证器，实现精度不降的推理加速。
📌 工作参考价值（4 点）
- 将输入压缩与输出多token预测视为对称操作：若业务下游需部署推理流水线，可借鉴 PIPO 将 compressor 和 MTP head 镜像组合，降低工程复杂度，且可直接利用已有 MTP 模块。
- 用 on-policy 蒸馏的教师分布训练置信头，无需额外成本：在已有 OPD 流程中，教师/学生 token 概率天然提供 speculative decoding 的接受率标签，可零开销训练一个轻量 MLP 替代昂贵的 verifier 前传，适合电商/Agent 场景中高频推理的成本控制。
- 通过随机 padding 注入训练，让模型学会单双token灵活切换：业务中可能遇到不确定的 draft 质量，可参照 PIPO 的做法，在 SFT 阶段按比例插入 padding token，使模型获得拒绝 draft 的回退能力，提升可靠性。
- 在长上下文高吞吐场景优势明显：PIPO 的 TTFT 加速在长 prompt 时更显著（2K→2.64× @128K），适合需要处理长文档、多轮对话或复杂推理链的电商推荐解释、Agent 规划等任务。